Machine Translation Quality Estimation (QE) is the task of evaluating translation output in the absence of human-written references. Due to the scarcity of human-labeled QE data, previous works attempted to utilize the abundant unlabeled parallel corpora to produce additional training data with pseudo labels. In this paper, we demonstrate a significant gap between parallel data and real QE data: for QE data, it is strictly guaranteed that the source side is original texts and the target side is translated (namely translationese). However, for parallel data, it is indiscriminate and the translationese may occur on either source or target side. We compare the impact of parallel data with different translation directions in QE data augmentation, and find that using the source-original part of parallel corpus consistently outperforms its target-original counterpart. Moreover, since the WMT corpus lacks direction information for each parallel sentence, we train a classifier to distinguish source- and target-original bitext, and carry out an analysis of their difference in both style and domain. Together, these findings suggest using source-original parallel data for QE data augmentation, which brings a relative improvement of up to 4.0% and 6.4% compared to undifferentiated data on sentence- and word-level QE tasks respectively.

The proliferation of automatic faithfulness metrics for summarization has produced a need for benchmarks to evaluate them. While existing benchmarks measure the correlation with human judgements of faithfulness on model-generated summaries, they are insufficient for diagnosing whether metrics are: 1) consistent, i.e., decrease as errors are introduced into a summary, 2) effective on human-written texts, and 3) sensitive to different error types (as summaries can contain multiple errors). To address these needs, we present a benchmark of unfaithful minimal pairs (BUMP), a dataset of 889 human-written, minimally different summary pairs, where a single error (from an ontology of 7 types) is introduced to a summary from the CNN/DailyMail dataset to produce an unfaithful summary. We find BUMP complements existing benchmarks in a number of ways: 1) the summaries in BUMP are harder to discriminate and less probable under SOTA summarization models, 2) BUMP enables measuring the consistency of metrics, and reveals that the most discriminative metrics tend not to be the most consistent, 3) BUMP enables the measurement of metrics' performance on individual error types and highlights areas of weakness for future work.

Recent works on Lottery Ticket Hypothesis have shown that pre-trained language models (PLMs) contain smaller matching subnetworks(winning tickets) which are capable of reaching accuracy comparable to the original models. However, these tickets are proved to be notrobust to adversarial examples, and even worse than their PLM counterparts. To address this problem, we propose a novel method based on learning binary weight masks to identify robust tickets hidden in the original PLMs. Since the loss is not differentiable for the binary mask, we assign the hard concrete distribution to the masks and encourage their sparsity using a smoothing approximation of L0 regularization.Furthermore, we design an adversarial loss objective to guide the search for robust tickets and ensure that the tickets perform well bothin accuracy and robustness. Experimental results show the significant improvement of the proposed method over previous work on adversarial robustness evaluation.

我们介绍了MLPERF小型推理基准（FPGA）平台上MLPERF微小的推理基准的最新结果。我们使用开源HLS4ML和Finn工作流，旨在使FPGA中优化神经网络的AI硬件代码民主化。我们介绍关键字发现，异常检测和图像分类基准任务的设计和实现过程。最终的硬件实现是针对速度和效率量身定制的，可配置的，可配置的空间数据流体系结构，并引入了新的通用优化和作为本工作的一部分开发的常见工作流程。完整的工作流程从量化感知培训到FPGA实施。该解决方案部署在芯片（PYNQ-Z2）和纯FPGA（ARTY A7-100T）平台上。由此产生的提交的潜伏期低至20 $ \ mu $ s和每次推论的低至30 $ \ mu $ j的能耗。我们展示了异质硬件平台上新兴的ML基准如何催化协作和开发新技术和更容易访问的工具。

通常通过过去的选择来告知机器学习中的评估，例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较，但是随着出现更好的替代方案，评估选择变得不佳。这个问题在自然语言生成中尤其相关，该语言需要不断改善的数据集，指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易，我们介绍了GEMV2。新版本的一代，评估和指标基准为数据集，模型和指标开发人员提供了模块化基础架构，以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。

卷积神经网络（CNN）通过使用大型数据集在图像分类方面取得了重大成功。但是，在小规模数据集上从头开始学习，有效地有效地学习，这仍然是巨大的挑战。借助有限的培训数据集，类别的概念将是模棱两可的，因为过度参数化的CNN倾向于简单地记住数据集，从而导致概括能力差。因此，研究如何在避免过度拟合的同时学习更多的判别性表示至关重要。由于类别的概念往往是模棱两可的，因此获取更多个人信息很重要。因此，我们提出了一个新框架，称为“吸引和修复”，由对比度正规化（CR）组成以丰富特征表示形式，对称交叉熵（SCE），以平衡不同类别的拟合和平均教师以校准标签信息。具体而言，SCE和CR学习歧视性表示，同时通过班级信息（吸引）和实例（拒绝）之间的适应性权衡缓解过度构成。之后，平均教师通过校准更准确的软伪标签来进一步提高性能。足够的实验验证了吸引和修复框架的有效性。加上其他策略，例如积极的数据增强，tencrop推断和模型结合，我们在ICCV 2021 vipriors图像分类挑战中获得了第二名。

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。

输入分布转移是无监督域适应（UDA）中的重要问题之一。最受欢迎的UDA方法集中在域不变表示学习上，试图将不同域中的功能调整为相似的特征分布。但是，这些方法忽略了域之间的输入单词分布的直接对齐，这是单词级分类任务（例如跨域NER）的重要因素。在这项工作中，我们通过引入子词级解决方案X-Pience来为输入单词级分布移动，从而为跨域NER开发了新的灯光。具体而言，我们将源域的输入单词重新划分以接近目标子词分布，该分布是作为最佳运输问题制定和解决的。由于这种方法着重于输入级别，因此它也可以与先前的DIRL方法相结合，以进一步改进。实验结果表明，基于四个基准NER数据集的Bert-Tagger所提出的方法的有效性。同样，事实证明，所提出的方法受益于诸如Dann之类的DIRL方法。

新课程经常出现在我们不断变化的世界中，例如社交媒体中的新兴主题和电子商务中的新产品。模型应识别新的类，同时保持对旧类的可区分性。在严重的情况下，只有有限的新颖实例可以逐步更新模型。在不忘记旧课程的情况下识别几个新课程的任务称为少数类的课程学习（FSCIL）。在这项工作中，我们通过学习多相增量任务（limit）提出了一个基于元学习的FSCIL的新范式，该任务从基本数据集中综合了伪造的FSCIL任务。假任务的数据格式与“真实”的增量任务一致，我们可以通过元学习构建可概括的特征空间。此外，限制还基于变压器构建了一个校准模块，该模块将旧类分类器和新类原型校准为相同的比例，并填补语义间隙。校准模块还可以自适应地将具有设置对集合函数的特定于实例的嵌入方式化。限制有效地适应新课程，同时拒绝忘记旧课程。在三个基准数据集（CIFAR100，Miniimagenet和Cub200）和大规模数据集上进行的实验，即Imagenet ILSVRC2012验证以实现最新性能。

除了像素功能之外，还利用“类级”信息（例如OCR和CPNET）等最新的分割方法，在提高现有网络模块的准确性方面取得了显着的成功。但是，提取的类级信息简单地与像素功能相连，而无需明确利用以获得更好的像素表示学习。此外，这些方法基于粗蒙版预测来学习软类中心，这很容易积累错误。在本文中，旨在更有效地使用班级信息，我们提出了一种普遍的班级感知正规化（CAR）方法，以优化特征学习过程中的阶层内差异和类间距离，这是由于人类可以识别的事实而激发的。对象本身不管它出现哪个其他对象。提出了三个新颖的损失功能。第一个损失函数鼓励每个类中更紧凑的类表示，第二个损失函数直接最大化了不同类中心之间的距离，第三个进一步推动了班级中心和像素之间的距离。此外，我们方法中的班级中心是由地面真理直接产生的，而不是从容易出错的粗糙预测中产生。我们的方法可以轻松地应用于包括OCR和CPNET在内的大多数现有分割模型，并且在没有额外的推理开销的情况下可以在很大程度上提高其准确性。在多个基准数据集上进行的广泛实验和消融研究表明，所提出的汽车可以提高所有基线模型的准确性，高达2.23％MIOU，具有出色的概括能力。完整的代码可在https://github.com/edwardyehuang/car上找到。